聯系我們
導讀：網頁抓取優先策略也稱為“頁面選擇問題”(page Selection),通常是盡可能地首先抓取重要性的網頁，這樣保證在有限的資源內盡可能地照顧到那些重要性高的網頁。那么哪些網頁才
發表日期：2019-12-23
文章編輯：興田科技
瀏覽次數：9342
標簽：
網頁抓取優先策略也稱為“頁面選擇問題”(page Selection),通常是盡可能地首先抓取重要性的網頁，這樣保證在有限的資源內盡可能地照顧到那些重要性高的網頁。那么哪些網頁才是重要性高的呢？如何量化重要性呢？
重要性度量由鏈接歡迎度、鏈接重要度和平均鏈接深度這個方面決定。
定義鏈接歡迎度為IB(p)，它主要由反向鏈接(Backinks)的數目和質量決定。首先考察數目，直觀地講，一個網頁有越多的鏈接指向它（反向鏈接數多），那么表示其他網頁對其的認可。同時這個網頁被網民訪問的機會就大，推測出其重要性也就越高;其次考察質量，如果被越多的重要性高的網指向，那么其重要性也就越高。如果不考慮質量，就會出現局部最優，而不是全局最優的問題。最典型的就是作弊網頁，人為地在一些網頁中設置了大量反策鏈接指向其自身的網頁，以提高該網頁的重要性。如果不考慮鏈接質量，就會被這些作弊者所利用。
定義鏈接重要度為IL(p)，它是一個關于URL字符串的函數，僅僅考察字符串本身。鏈接重要度主要通過一些模式，比如認為包含“.COM”或者“HOME”的URL重要度高，以及具有較少斜杠(Slash)的URL重要度高等。
定義平均鏈接深度為ID(p),此為筆者所創。ID(p)表示在一個種子站點集合中，每個種子站點如果存在一條鏈路（寬度優先遍歷規則）到達該網頁，那么平均鏈接深度就是這個網頁的又一個重要性指標。因為距離種子站點越近，說明被訪問的機會越多，離種子站點越遠，重要性越低。事實上，按照寬度優先的遍歷規則即可滿足這種重要性高的網頁被優先抓取的需要。
最后，定義網頁重要性的度量為I(p)，它由以上兩個量化值線性決定，即：
I(p)＝a*IB(p)+β*IL(p)
平均鏈接深度同寬度優先的遍歷規則保證，因此不作為重要性評價的指標。在抓取能力有限的情況下，如果能夠把重要性高的網頁盡可能地抓完，是合理科學的，最終被用戶查詢到的網頁也往往是那些重要性高的網頁。
盡管這樣看來已經足夠完美，事實上，還是忽視了一個重要的要素－－時間。時間導致萬維網動態變化的一面。如何抓取那些新增的網頁呢？如何重訪那些被修改了的網頁呢？如何發現那些被刪除了的網頁呢？為了保持和萬維網網頁的同步變化，就必須有網頁重訪策略。通過該策略可以識別增加、修改及刪除網頁這3種網頁變化的情況。
上一篇：
暫無信息上一篇：
實例解析如何打造專業化服務型小網站更多新聞
2020
關于網站優化，關鍵詞搜索是網絡搜索索引主要方法之一，就是訪問者希望了解的產品、服務和公司等的具體名稱用語。選擇流量穩定的關鍵詞。下面小編告訴大
View details
2020
關于關鍵詞排名，對于網站建設前期的一個規劃關系著一個網站建設得是否成功，網站建設前需明確建設網站的目的，確定網站的功能和規模，進行必要的市場分析，只
View details
2020
關于關鍵詞優化，首先我們要讓現在消費者不太好、有需求，首先想到的就是搜索引擎，在搜索引擎輸入關鍵字，查尋相關的結果，換句話說通過搜索引擎來認知和答疑
View details
2019
網頁抓取優先策略也稱為“頁面選擇問題”(page Selection),通常是盡可能地首先抓取重要性的網頁，這樣保證在有限的資源內盡可能地照顧到那些重要性高的網頁。那么哪些網頁才
View details
